A generalized understanding of protein dynamics is an unsolved scientific problem, the solution of which is critical to the interpretation of the structure-function relationships that govern essential biological processes. Here, we approach this problem by constructing coarse-grained molecular potentials based on artificial neural networks and grounded in statistical mechanics. For training, we build a unique dataset of unbiased all-atom molecular dynamics simulations of approximately 9 ms for twelve different proteins with multiple secondary structure arrangements. The coarse-grained models are capable of accelerating the dynamics by more than three orders of magnitude while preserving the thermodynamics of the systems. Coarse-grained simulations identify relevant structural states in the ensemble with comparable energetics to the all-atom systems. Furthermore, we show that a single coarse-grained potential can integrate all twelve proteins and can capture experimental structural features of mutated proteins. These results indicate that machine learning coarse-grained potentials could provide a feasible approach to simulate and understand protein dynamics.
translated by 谷歌翻译
In recent years, the task of Automatic Music Transcription (AMT), whereby various attributes of music notes are estimated from audio, has received increasing attention. At the same time, the related task of Multi-Pitch Estimation (MPE) remains a challenging but necessary component of almost all AMT approaches, even if only implicitly. In the context of AMT, pitch information is typically quantized to the nominal pitches of the Western music scale. Even in more general contexts, MPE systems typically produce pitch predictions with some degree of quantization. In certain applications of AMT, such as Guitar Tablature Transcription (GTT), it is more meaningful to estimate continuous-valued pitch contours. Guitar tablature has the capacity to represent various playing techniques, some of which involve pitch modulation. Contemporary approaches to AMT do not adequately address pitch modulation, and offer only less quantization at the expense of more model complexity. In this paper, we present a GTT formulation that estimates continuous-valued pitch contours, grouping them according to their string and fret of origin. We demonstrate that for this task, the proposed method significantly improves the resolution of MPE and simultaneously yields tablature estimation results competitive with baseline models.
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
我们定义了一个新颖的神经符号框架,论证奖励学习,该奖励学习将基于偏好的论点与现有方法结合了从人类反馈中加强学习的方法。我们的方法通过概括人类的偏好,减轻用户的负担并增加奖励模型的鲁棒性来改善先前的工作。我们通过许多实验证明了这一点。
translated by 谷歌翻译
反事实风险最小化是通过记录数据组成的脱机策略优化的框架,该数据由上下文,动作,倾向得分和每个样本点的奖励组成。在这项工作中,我们以此框架为基础,并为未观察到某些样本的奖励的设置提出了一种学习方法,因此记录的数据由具有未知奖励的样本子集和具有已知奖励的样本子集。此设置在许多应用领域,包括广告和医疗保健。虽然某些样本缺少奖励反馈,但可以利用未知的奖励样本来最大程度地降低风险,我们将此设置称为半遇到事实风险的最小化。为了解决这种学习问题,我们在反相反分数估计器下的真实风险中得出了新的上限。然后,我们基于这些界限,提出了一种正规化的反事实风险最小化方法,该方法仅基于已记录的未知奖励数据集;因此,这是奖励独立的。我们还提出了另一种算法,该算法基于为已记录的未知奖励数据集生成伪奖励。神经网络和基准数据集的实验结果表明,除了已记录已知的奖励数据集外,这些算法可以利用已记录的未知奖励数据集。
translated by 谷歌翻译
反事实解释(CFXS)的使用是机器学习模型越来越流行的解释策略。但是,最近的研究表明,这些解释可能对基础模型的变化(例如,在重新培训之后)的变化可能并不强大,这引发了有关其在现实世界应用中的可靠性的问题。现有的解决此问题的尝试是启发式方法,仅使用少量的重新培训模型来评估所得CFXS的模型变化的鲁棒性,未能提供详尽的保证。为了解决这个问题,我们提出了第一个概念,以正式和确定性地评估神经网络的CFX的鲁棒性(建模更改),我们称为{\ delta} - bubustness。我们引入了基于间隔神经网络的抽象框架,以验证CFXS的{\ delta} - 固定性,以实现模型参数(即权重和偏见)的无限更改。然后,我们以两种不同的方式演示了这种方法的实用性。首先,我们分析了文献中许多CFX生成方法的{\ delta} - 固定性,并表明它们在这方面一致占据了明显的缺陷。其次,我们演示了如何在现有方法中嵌入{\ delta} - bobustness可以提供可证明可靠的CFX。
translated by 谷歌翻译
最近的工作表明了与解释一致的问题,其方法生成了局部解释,这些解释在实例方面似乎是合理的,但在整个实例中都是不一致的。这不仅表明实例解释可能是不可靠的,而且主要是,当通过多个输入与系统交互时,用户实际上可能会失去对系统的信心。为了更好地分析此问题,在这项工作中,我们将解释视为可能受到推理的对象,并通过输入,输出和解释的序列,对用户和系统之间的交互式场景进行正式模型。我们认为,可以将解释视为承诺某种模型行为(即使只有表面上的表面),这表明了一种形式,我们认为应该将其视为非单调的。这允许:1)在解释中解决了一些考虑的不一致之处,例如通过特异性关系; 2)考虑非单调推理文献中的属性并讨论其可取性,从而对互动解释方案有了更多的了解。
translated by 谷歌翻译
最近的研究表明,神经网络有可能改善经典生存模型,例如COX模型,Cox模型广泛用于临床实践。但是,神经网络通常依赖于中心可用的数据,而医疗保健数据经常在安全筒仓中保存。我们提出了一个联合的COX模型,该模型可容纳此数据设置并放松比例危害假设,从而允许时间变化的协变量效应。在后一方面,我们的模型不需要明确的时间变化效果,而与以前的工作相比降低了前期组织成本。我们尝试使用公开可用的临床数据集,并证明联合模型能够像标准模型一样执行。
translated by 谷歌翻译
诗歌的语音综合是由于诗意语音固有的特定语调模式而具有挑战性的。在这项工作中,我们提出了一种将诗歌与几乎像人类一样自然的综合诗作的方法,以使文学学者能够系统地检查有关文本,口头实现和听众对诗歌的相互作用的假设。为了满足文学研究的这些特殊要求,我们通过从人类参考朗诵中克隆韵律价值来重新合成诗,然后利用细粒度的韵律控制来操纵在人类的环境中的合成语音以改变朗诵W.R.T.具体现象。我们发现,对诗歌的TTS模型进行鉴定会在很大程度上捕捉诗歌语调模式,这对韵律克隆和操纵是有益的,并在客观评估和人类研究中都验证了我们方法的成功。
translated by 谷歌翻译
当前的大多数解释性技术都集中在捕获输入空间中特征的重要性。但是,鉴于模型和数据生成过程的复杂性,由此产生的解释远非“完整”,因为它们缺乏特征相互作用和可视化其“效应”的指示。在这项工作中,我们提出了一个新颖的双流式解释性框架,以解释任何基于CNN的图像分类器(架构不考虑)做出的决定。为此,我们首先将潜在特征从分类器中解开,然后将这些功能与观察到的/人为定义的“上下文”功能保持一致。这些对齐特征形成了具有语义上有意义的概念,用于提取描述“感知”数据生成过程的因果图,描述了未观察到的潜在特征和观察到的“上下文”特征之间的功能间和内部内部和内部内部相互作用。该因果图是一个全局模型,可以从中提取不同形式的局部解释。具体而言,我们提供了一个生成器来可视化潜在空间中特征之间交互的“效果”,并从其作为局部解释中提取特征的重要性。我们的框架利用对抗性知识蒸馏来忠实地从分类器的潜在空间中学习表示形式,并将其用于提取视觉解释。我们使用带有附加正规化术语的stylegan-v2体系结构来执行分解和对齐。我们证明并评估了通过关于Morpho-Mnist和FFHQ人脸数据集获得的解释。我们的框架可在\ url {https://github.com/koriavinash1/glance-explanations}上获得。
translated by 谷歌翻译